Ascend 310 AI处理器上使用AIR模型进行推理

Linux Ascend 推理应用 初级 中级 高级

Ascend 310是面向边缘场景的高能效高集成度AI处理器。Atlas 200开发者套件又称Atlas 200 Developer Kit（以下简称Atlas 200 DK），是以Atlas 200 AI加速模块为核心的开发者板形态的终端类产品，集成了海思Ascend 310 AI处理器，可以实现图像、视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机、视频服务器等场景。

本教程介绍如何在Atlas 200 DK上使用MindSpore基于AIR模型文件执行推理，主要包括以下流程：

开发环境准备，包括制作Atlas 200 DK的SD卡 、配置Python环境和刷配套开发软件包。

导出AIR模型文件，这里以ResNet-50模型为例。

使用ATC工具将AIR模型文件转成OM模型。

编译推理代码，生成可执行main文件。

加载保存的OM模型，执行推理并查看结果。

你可以在这里找到完整可运行的样例代码：https://gitee.com/mindspore/docs/tree/r1.3/docs/sample_code/acl_resnet50_sample 。

一个操作系统为Ubuntu的服务器或PC机，用于为Atlas 200 DK制作SD卡启动盘和开发环境部署。

一张SD卡，建议容量不低于16G。

配置开发环境需要的脚本和软件包如下5类，共7个文件。

制卡入口脚本：make_sd_card.py

制作SD卡操作系统脚本：make_ubuntu_sd.sh

Ubuntu操作系统镜像包：ubuntu-18.04.xx-server-arm64.iso

开发者板驱动包与运行包：

Ascend310-driver-*{software version}*-ubuntu18.04.aarch64-minirc.tar.gz

Ascend310-aicpu_kernels-*{software version}*-minirc.tar.gz

Ascend-acllib-*{software version}*-ubuntu18.04.aarch64-minirc.run

安装开发套件包：Ascend-Toolkit-*{version}*-arm64-linux_gcc7.3.0.run

其中，

前3项可以参考Atlas 200 DK 开发者套件使用指南获取。

其余软件包建议从固件与驱动中获取，在该页面中选择产品系列和产品型号为Atlas 200 DK，选中需要的文件，即可下载。

读卡器通过USB与Ubuntu服务器连接，通过制卡脚本制作SD卡。具体操作参见操作步骤。

Atlas 200 DK开发者板支持通过USB端口或者网线与Ubuntu服务器进行连接。具体操作参见连接Atlas 200 DK开发者板与Ubuntu服务器。

安装Python以及gcc等软件，具体操作参见安装依赖。

安装开发套件包Ascend-Toolkit-*{version}*-arm64-linux_gcc7.3.0.run，具体操作参见安装开发套件包。

创建目录放置推理代码工程，例如/home/HwHiAiUser/Ascend/ascend-toolkit/20.0.RC1/acllib_linux.arm64/sample/acl_execute_model/acl_resnet50_sample，其中inc、src、test_data可以从官网示例下载样例代码获取，model目录用于存放接下来导出的AIR模型文件和转换后的OM模型文件，out目录用于存放执行编译生成的可执行文件和输出结果目录，推理代码工程目录结构如下:

输出结果目录acl_resnet50_sample/out/result需先创建好再执行推理操作。

在Ascend 910的机器上训练好目标网络，并保存为CheckPoint文件，通过网络和CheckPoint文件导出对应的AIR格式模型文件，导出流程参见导出AIR格式文件。

这里提供使用ResNet-50模型导出的示例AIR文件resnet50_export.air。

登录Atlas 200 DK开发者板环境，创建model目录放置AIR文件resnet50_export.air，例如/home/HwHiAiUser/Ascend/ascend-toolkit/20.0.RC1/acllib_linux.arm64/sample/acl_execute_model/acl_resnet50_sample/model，并进入该路径下，设置如下环境变量。其中，install_path需指定为实际安装路径。

以resnet50_export.air为例，执行如下命令进行模型转换，在当前目录生成resnet50_export.om文件。

其中：

--model：原始模型文件的路径。

--output：转换得到的OM模型文件的路径。

--input_format：输入数据格式。

ATC工具详细资料可在昇腾社区开发者文档中选择相应CANN版本后，查找《ATC工具使用指南》章节查看。

进入工程目录acl_resnet50_sample，设置如下环境变量：

CMakeLists.txt文件中acllib包的include的目录需要指定正确，否则会报acl/acl.h找不到的错误。CMakeLists.txt文件中指定include目录的代码位置如下，如果与实际安装目录不符，需要修改。

执行如下命令创建编译目录：

然后切换至编译目录：

执行cmake命令：

再执行make命令编译即可。

编译完成后，在acl_resnet50_sample/out下会生成可执行main文件。

将生成的OM模型文件resnet50_export.om拷贝到acl_resnet50_sample/out目录下（和可执行main文件同路径），并确认acl_resnet50_sample/test_data目录中已经准备好输入数据样本，就可以执行推理了。

值得注意的是，需要设置如下环境变量，否则会导致推理不成功。

进入到acl_resnet50_sample/out目录下，如果当前目录下result目录不存在，需要执行mkdir result命令创建该目录，然后执行如下命令进行推理。

执行成功后，可以看到推理结果如下，打印了top5的概率标签，并且输出结果会以.bin文件的格式保存在acl_resnet50_sample/out/result目录中。